机器学习模型与虚假相关性的脆弱性主要在监督学习（SL）的背景下进行了讨论。但是，缺乏对虚假相关性如何影响流行的自学学习（SSL）和基于自动编码器模型（AE）的表现的见解。在这项工作中，我们通过评估这些模型在现实世界和合成分配变化数据集上的性能来阐明这一点。在观察到线性头可能容易受到虚假相关性的观察之后，我们使用对分布外（OOD）数据训练的线性头制定了一种新颖的评估方案，以将预训练模型的性能隔离为潜在的偏差用于评估的线性头。通过这种新方法，我们表明SSL模型始终比AE和SL模型在OOD概括方面始终更健壮，因此在OOD概括方面更好。
translated by 谷歌翻译